README: Attempt to flesh out more, start moving docs from wiki

I'd like to migrate content from the GNOME wiki, as frankly the wiki
is crap.  Markdown in git is better in every way.

Start by fleshing out the README.md to be more useful.

Update .gitignore

https://bugzilla.gnome.org/show_bug.cgi?id=752950

repo: don't forget to abort the transaction when failed

ostree_repo_prepare_transaction() should always be matched with a call
to either ostree_repo_commit_transaction() or
ostree_repo_abort_transaction().

Since ostree_repo_pull_with_options() does not call
ostree_repo_abort_transaction() on errors, the OstreeRepo instance will
hit an assertion when it's re-used later for another attempt, such as
when the update is driven by an external component through libostree and
network temporarily goes down.

This commit simply always calls ostree_repo_abort_transaction() in the
exit path of ostree_repo_pull_with_options(), since the function is safe
to call even when we're not in a transaction, and that matches e.g. what
ostree-sysroot-cleanup.c does.

repo: fix an incorrect comment

static-delta: add max-bsdiff-size option

It allows to specify the maximum size for input files to attempt
bsdiff compression for.

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

static-delta: do not fail compilation with big files

Just skip the bsdiff compression instead of failing the operation.

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

pull: new option --commit-metadata-only

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

repo: new function _ostree_preload_metadata_file

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

repo: merge repo_remote_fetch_summary_{metalink,url}

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

libostree: new API ostree_repo_remote_list_refs

The new API permits to query a remote repository summary file and
retrieve the list of available refs.

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

tests: do not commit from the working directory

It fixes this problem:

```
error: Not a regular file or symlink: S.gpg-agent
```

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

tests: Export OSTREE_SYSROOT in setup_os_repository

Eliminates the need for constantly passing --sysroot=sysroot, but
also makes ostree place remote configs for sysroot/ostree/repo in
sysroot/etc/ostree/remotes.d where they should have been all along.

main: Fix UID check based on sysroot path

This is another place where we were hard-coding a default.  Create the
OstreeSysroot first and THEN check if its path is the root directory.

repo: Fix location of remote configs for system repos

Need to respect the repo's system root directory instead of assuming the
compile-time $(sysconfdir).

sysroot: Pass the internal repo a system root path

repo: Add a "sysroot-path" property

Adds ostree_repo_new_for_sysroot_path() to specify a system root path.
OstreeRepo otherwise uses _ostree_get_default_sysroot_path().

sysroot: Use _ostree_get_default_sysroot_path()

Instead of hard-coding the root directory as default.

core: Add _ostree_get_default_sysroot_path()

Returns a GFile for the default system root, which is usually the root
directory unless overridden by the OSTREE_SYSROOT environment variable
(which is mainly intended for testing).

pull: Plug a memory leak

pull: Avoid leaking signal handlers across fetch requests

libsoup will cache sessions, so it might be the case that we get a
reused session when pulling from the same repo multiple times in one
process.

In this case we were leaking signal connections, which caused
callbacks into freed memory with bad consequences.

Fix it by tying the signal connection to the object lifetime.

build: Make gtk-doc optional

This is similar to what's done in glib.

tests: Check error messages instead of "expected-fail", handle old parallel

pull: Also fix misplaced remote name handling

We want to set the remote name only if we're operating on a remote
URL.

core: Fix inverted conditional in GPG checking

pull: Error if gpg=true and summary is 404, add more tests

I did a quick audit pass through the pull code.  What I focused on the
most is the case where `gpg-verify-summary=true`, and in particular
where `gpg-verify=false` too.  This should be a valid and secure
configuration.

The primary change here is to error out very quickly if either
`summary` or `summary.sig` are 404.  Previously, we'd only error out
if we were processing deltas.

Expand the existing test case to cover this, plus invalid summary and
invalid sig.  (The test case was failing with current git master too).

ostree_repo_remote_fetch_summary: honor gpg-verify-summary

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

tests: add test for check for remote add --set=gpg-verify-summary=true

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

pull: fail if GPG is enabled and the summary is not signed

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

repo: new function ostree_repo_remote_get_gpg_verify_summary

It allows to specify whether GPG verification for the summary file is
enabled for a specific repository.

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

pull: verify summary signatures also when not mirroring

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

ostree: Add a "remote refs" command

Works like "ostree refs" but fetches refs from a remote repo.

This depends on the remote repo having a summary file, but any repo
being served over HTTP *ought* to have one.

repo: Add ostree_repo_remote_fetch_summary()

Reusable method for fetching a summary file and signatures.

metalink: Return requested file as a GBytes

This may not be the best idea for general usage, but the only use case
for metalinks currently is fetching a summary file and those are pretty
small.  Far more convenient to return the file content in a GBytes.

metalink: Allow NULL for "out" params in metalink requests

Caller may not be interested in all the outbound params, particularly
"fetching_sync_uri".

repo: Redo ostree_repo_remote_get_url()

Make it work like in ostree_repo_pull_with_options(), handling "file://"
remotes and inheriting the "url" option from parent repos if needed.

repo: Handle "file" remotes in ostree_repo_remote_get_gpg_verify()

repo: Add _ostree_repo_get_remote_option_inherit()

Split out from ostree-repo-pull.c.  Still private but more reusable now.

repo: Add _ostree_repo_remote_new_fetcher()

Creates and configures an OstreeFetcher instance for a given remote.

Split out from ostree_repo_pull_with_options().

diff: Fix adding CLI options twice

tests/metalink: Add a case with nested unknown elements

metalink: Fix behavior when requested file is not found

The state machine's "passthrough_previous" field never got set, so the
machine gets put back into the wrong state after a passthrough phase.
Couple other minor issues around error handling.

pull-local: Support --depth option

Like pull, allow pull-local to mirror another another repository by
specifying how many parents to traverse.

https://bugzilla.gnome.org/show_bug.cgi?id=750581

tests/test-pull-mirror-summary.sh: remove empty newline

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

autogen.sh: fix typo

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

repo: Change GPG verification policy

The global keyring directory (trusted.gpg.d) is deprecated.  Only use it
when a specified remote does NOT have its own keyring, or when verifying
local repository objects.

Note, because mixing in the global keyring directory is now an explicit
choice, OstreeGpgVerifier no longer needs to implement GInitableIface.

Fix double free in ostree_repo_pull_with_options

Duplicate the commit checksum for expected_commit_sizes since it's also
used as a value in requested_refs_to_fetch.

https://bugzilla.gnome.org/show_bug.cgi?id=750366

Revert "tests: skip test-commit-sign.sh when not root"

This reverts commit d3545b0661f3247cd8c106e64a71052ce9952243. Since the
test is now using the temporary copy of the gpg homedir, it is no longer
owned by root.

tests: Use temporary gpg homedir

libtest always makes a copy of the gpghome directory to the test
directory, so there's no need to operate on the installed copy. This
allows test-remote-gpg-import to pass as an unprivileged user since it
otherwise couldn't create the temp files gpgme creates.

tests: Use readdir64 when _FILE_OFFSET_BITS set

On 32 bit systems, _FILE_OFFSET_BITS will be set to 64 by
AC_SYS_LARGEFILE. This causes the glibc headers to use readdir64 rather
than readdir. Emulate that behavior in the preloader or the tests will
all fail with "No such file or directory".

tests: Link test-gpg-verify-result with gpgme

This test uses gpgme directly to verify the signatures, so it needs to
find the gpgme headers and link with gpgme to ensure the linker can
resolve the symbols.

Fix tests on 32 bit systems

Use guint64 when the 't' format is used for GVariant

gpg: Gracefully handle no trusted.gpg.d directory

This is a deprecated fallback method anyway.  We prefer
remote-specific keyrings now.

https://bugzilla.gnome.org/750049

Release 2015.7

tests/remote-gpg-import: Only commit workdir

Just noticed this while debugging something else.  We don't want to
commit the whole test dir, just the workdir.

Trying to commit the repo itself is potentially subject to race
conditions at least.

tests: Run all tests through a randomized readdir()

Having undefined (but in practice rarely changing) ordering for
`readdir()` ended up screwing us over for bootloader config
generation; see https://bugzilla.redhat.com/show_bug.cgi?id=1226520

Let's make things significantly more likely to fail more quickly in
the future if similar bugs are introduced.  We accomplish this by
introducing a little `LD_PRELOAD` library that randomizes the results
of `readdir()`.

Revert "tests: Run all tests through a randomized readdir()"

Unintentionally pushed.

This reverts commit ce49264157f9005e664557613cbbf67f54174682.

tests: Add a test-pull-summary-sigs

This is intended to cover non-mirroring usage of GPG + summary +
deltas.

repo: Don't crash when creating a summary if we have --empty deltas

tests: Add a commented out test for mirroring with deltas

pull: Validate delta checksums more strongly

We need to check that it's 'ay'.  Also reuse the existing validation
function to check it's 32 bytes rather than potentially crashing with
assertion.

Just noticed this during a code review.

pull: Ensure console state for multiple GPG verification messages

If there are multiple signatures to verify, we would attempt to
display them multiple times, but we can only call
`gs_console_end_status_line()` if the console has been enabled.

Ensure we turn back on the console after printing our status.  This
will result in extra newlines, but fixing that cleanly would require a
saner GSConsole API.

tests: Run all tests through a randomized readdir()

Having undefined ordering (but in practice rarely changing)
ordering for `readdir()` ended up screwing us over with respect
to bootloader config file read ordering.

Let's make things significantly more likely to fail more quickly in
the future if similar bugs are introduced.  We accomplish this by
introducing a little `LD_PRELOAD` library that randomizes the results
of `readdir()`.

tests: Add a crosscheck for syslinux bootloader config generation

And actually wire this one up in admin-test.sh.

tests: Add a test script to cross-check loader config vs GRUB2

One can run this on a machine to validate things.  I'd like to
get this plugged into the actual OSTree tests as soon as we can
figure out how to sanely run grub2-generate as non-root in
our test suite.

Alternatively, this script can easily be run on a real install.

sysroot: Sort returned boot loader configs

I haven't done a full dig through the history, but it seems quite
possible right now we've been relying on inode enumeration
order for generating bootloader configuration.

Most of the time, newer inodes (i.e. later written files) will win.
But that's obviously not reliable.

Fix this by sorting the returned configuration internally.

Fix annotations on ostree_repo_remote_gpg_import().

ostree-repo: document OSTREE_REPO_COMMIT_MODIFIER_FLAGS_GENERATE_SIZES

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

admin: Ensure instutil commands and usage help don't grab lock

When I was introducing the `_UNLOCKED` flag, I only audited
subcommands of `ostree admin`, but I missed that `ostree admin
instutil` also used the option parsing.  Those are only used by
Anaconda today so we can ignore them for locking purposes.

Also, the usage help generation was grabbing the lock unnecessarily.

repo: Prevent GPG keys from being imported to keybox format

If a remote keyring does not already exist, create an empty pubring.gpg
file in the temporary directory prior to importing keys.  This prevents
gpg2 from creating a pubring.kbx file in the new keybox format [1].  We
want to stay with the older keyring format since its performances issues
are not relevant here.

[1] https://gnupg.org/faq/whats-new-in-2.1.html#keybox

repo: Bump mtime any time we write a ref

External daemons like rpm-ostree want push notification any time a
change is made by an external entity.  inotify provides notification,
but a problem is there's no easy way to monitor all of the refs.

In the past, there has been discussion of opt-in recursive timestamps:
https://lkml.org/lkml/2013/4/5/307

But in today's world, let's just bump the mtime on the repo itself, as
a central inotify point.

Closes: https://github.com/GNOME/ostree/pull/111

ostree-repo: replace more gs_unref_(variant|bytes) with g_autoptr

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

test-basic: Always chown back before doing assertion

Sometimes I rerun the tests for debugging in the same directory, and
having it be not writable breaks `rm * -rf`.

tests: Fix writable repo test

When I removed the `transaction` symlink, that made this test start
failing.  Fix it by doing `chmod` on `repo/objects`, which is what the
core `ostree_repo_is_writable()` looks at.

admin: Use locking for most sysroot commands

The previous commit introduced locking for `ostree admin deploy`, but
we do expect people to possibly accidentally do e.g.
`ostree admin upgrade` concurrently.

Using consistent locking in the admin commands will help rpm-ostree.

Closes: https://github.com/GNOME/ostree/pull/110

tests: Add test-remote-gpg-import.sh

ostree: Add --gpg-import to the "remote add" command

Convenience option imports GPG keys for a newly-created remote.

ostree: Add a "remote gpg-import" command

Imports GPG keys into a remote-specific keyring.

repo: Add remote's keyring during GPG verification

This is pretty fugly but it at least avoids new public API.

repo: Add ostree_repo_remote_gpg_import()

Imports one or more GPG keys from a source stream or from the user's
personal keyring into a remote-specific keyring.  The keys to import
can optionally be restricted by a list of key IDs.

The imported keys are used to conduct GPG verification when pulling
from the given remote.

repo: Delete a remote's keyring when deleting a remote

repo: Stash keyring name in OstreeRemote

maint.mk: Remove GNU releases specific bits

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

syntax-check: add syntactic rule to prohibit gs_strfreev

and fix an instance.

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

syntax-check: add syntactic rule to prohibit gs_unref_*

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

tests: add new test for pull --disable-static-deltas

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

doc: add missing options block for pull

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

pull: add new switch option --disable-static-deltas

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

ostree-repo-pull: add option to disable static-deltas

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

sysroot: Add a try_lock() API

The blocking locking API wasn't sufficient for use in the rpm-ostree
daemon; it really wants to know if the lock is held, then continue to
do other things (like service DBus requests), and get notification
when the lock is available.

We also add an async variant that can be called if the lock is not
available.

Implement a higher level "loop until lock is available" method in the
`ostree admin` commandline.

repo: Simplify sign_data() a little

Use ot_gpgme_data_output() to wrapper a GOutputStream.

gpg: Add custom data buffers to wrapper GIO streams

ot_gpgme_data_input() and ot_gpgme_data_output(), shamelessly ripped
off from seahorse_gpgme_data_input() and seahorse_gpgme_data_output().

gpg: Fix ot_gpgme_error_to_gio_error()

Need to extract the error code from a gpgme_error_t, can't just compare
it directly.

ot-fs-utils: remove empty line at EOF

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

summary: delete summary.sig on an update

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

tests: add a test for signed summary file

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

pull: verify signature for the summary file

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

summary: add new command line arguments to sign the summary file

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

ostree-repo: add new API to sign the summary file

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

pull: get rid of detached metadata for deltas

Once the summary file will be signed, we can validate the superblock
from there.

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>

pull: check that the superblock checksum is the same as in the summary

Signed-off-by: Giuseppe Scrivano <gscrivan@redhat.com>